ความน่าจะเป็นและสถิติ: วิทยาศาสตร์แห่งความไม่แน่นอน: จากความน่าจะเป็นสู่การประมาณค่า: วิทยาศาสตร์แห่งการอนุมาน

การอนุมานทางสถิติหมายถึงการเปลี่ยนผ่านจากการทำนายผลลัพธ์จากพารามิเตอร์ที่รู้จัก (ความน่าจะเป็น) สู่การหาพารามิเตอร์ที่สอดคล้องกับข้อมูลที่สังเกตได้มากที่สุด (การประมาณค่า) ขณะที่ฟังก์ชันความหนาแน่นของความน่าจะเป็น $f(x|\theta)$ อธิบายการแจกแจงของข้อมูล $x$ เมื่อ $\theta$ คงที่ ฟังก์ชันการประมาณค่า $L(\theta|x)$ จะพิจารณาข้อมูลที่สังเกตได้เป็นค่าคงที่ และเปลี่ยนแปลงพารามิเตอร์ $\theta$ เพื่อประเมินระดับความสนับสนุนที่สัมพันธ์กับสมมติฐานต่าง ๆ

หลักการกลับด้าน

ฟังก์ชันการประมาณค่ามักแสดงในรูปของความหนาแน่นร่วม สำหรับการแจกแจงปกติที่มีความแปรปรวนคงที่ ฟังก์ชันการประมาณค่าถูกกำหนดโดย:

$L ( \theta | x_1, \dots, x_n ) = \exp\left( -\frac{n}{2\sigma_0^2} (\bar{x} - \theta)^2 \right)$

ที่นี่ เราประเมินความน่าเชื่อถือของค่า $\theta$ ที่แตกต่างกัน โดยพิจารณาค่าเฉลี่ยตัวอย่าง $\bar{x}$ เพื่อหาจุดสูงสุดของความน่าเชื่อถือนี้ เราใช้ นิยาม 6.2.2: การประมาณค่าลอการิธึม $l(\theta | s) = \ln L(\theta | s)$ การเปลี่ยนรูปนี้ช่วยลดผลคูณของข้อมูลที่เป็นอิสระให้กลายเป็นผลบวก ทำให้การหาค่าสูงสุดของโมเดลที่ซับซ้อนสามารถคำนวณได้ในเชิงปฏิบัติ

ตัวอย่างการแก้ปัญหา: การสำรวจส่วนสูง (ตัวอย่าง 6.3.5)

ข้อมูล

พิจารณาตัวอย่างขนาด $n=30$ ของความสูง พร้อมค่าส่วนเบี่ยงเบนมาตรฐานที่คำนวณได้คือ $s=2.379$ โดยใช้แบบจำลองปกติแบบตำแหน่ง-สเกล เราต้องการอนุมานค่าเฉลี่ยจริง $\theta$

การอนุมานและการแม่นยำ

ค่าความคลาดเคลื่อนมาตรฐานคำนวณได้จาก $s/\sqrt{30} = 0.43434$ ค่านี้วัดความคมชัดของจุดยอดการประมาณค่าของเรา ค่าความคลาดเคลื่อนมาตรฐานที่เล็กลงหมายถึงจุดยอดแคบและแหลม ซึ่งบ่งบอกถึงความแม่นยำสูงในการอนุมานค่า $\theta$

มิติและความจำกัด

ในสถานการณ์ที่ซับซ้อนเช่น ตัวอย่าง 6.1.5 (แบบจำลองหลายหมวดหมู่)เราต้องพิจารณาความสัมพันธ์เชิงตรรกะ ตามที่ระบุไว้ว่า "สังเกตว่ามันแท้จริงแล้วมีเพียงสองมิติ เพราะเมื่อเรารู้ค่าของ $\theta_i$ ใดๆ สองค่า... เราก็ทราบค่าพารามิเตอร์ที่เหลือทันที" ข้อจำกัดนี้มีความสำคัญต่อการกำหนดพื้นที่พารามิเตอร์ $\Omega$ อย่างถูกต้อง

รากฐานเชิงอนุกรม

สะพานจากฟังก์ชันการประมาณค่าไปสู่การอนุมานอาศัยทฤษฎีบทกลางของจำนวนมาก เมื่อ $n \to \infty$ การแจกแจงของตัวประมาณค่าจะเข้าใกล้ค่าคงที่ โดยเฉพาะในกรณี ตัวอย่าง 6.5.4 แบบจำลองเบอร์นูลลี:

$Z = \frac{\sqrt{n}(\bar{X} - \theta)}{\sqrt{\bar{X}(1 - \bar{X})}} \xrightarrow{D} N(0, 1)$

สิ่งนี้ทำให้เราสามารถวัดความไม่แน่นอนได้โดยใช้ช่วงความเชื่อมั่นแบบ z และค่าความน่าจะเป็น ภายใต้เงื่อนไขที่มีตัวอย่างขนาดใหญ่พอ

หลักการหลัก

วิธีการอนุมานทางสถิติที่ไม่ต้องพึ่งพาการแจกแจง (distribution-free) ต้องการสมมติฐานเพียงเล็กน้อยเกี่ยวกับการแจกแจงตัวอย่าง ทำให้มีความทนทานเมื่อครอบครัว $\{P_{\theta} : \theta \in \Omega\}$ มีขนาดใหญ่มาก ในทางกลับกัน วิธีการประมาณค่าแบบพารามิเตอร์พึ่งพาความโค้งของลอการิธึมของการประมาณค่า ซึ่งข้อมูลฟิชเชอร์ $nI(\theta)$ กำหนดความแปรปรวนของฟังก์ชันคะแนนของเรา

คำถามที่ 1

6.1.2: สมมติว่าอัตราการฆ่าตัวตายคือ $p$ ต่อปีต่อคน (แบบกระจายพอยซอน $Np$) หากเราสังเกตเห็นการฆ่าตัวตายจำนวน 22 ราย ในช่วงเวลา 30,345 ปี-คน ฟังก์ชันการประมาณค่าลอการิธึม $l(p)$ คืออะไร?

$l(p) = -30345p + 22\ln(p) + C$

$l(p) = 30345\ln(p) - 22p + C$

$l(p) = e^{-30345p} p^{22}$

$l(p) = -22p + 30345\ln(p)$

คำถามที่ 2

6.3.14: ช่วงความเชื่อมั่น 0.95 สำหรับ $\psi(\theta)$ คือ $(1.23, 2.45)$ มีหลักฐานต่อต้านสมมติฐาน $H_0 : \psi(\theta) = 2$ หรือไม่?

ไม่ เพราะค่า 2 อยู่ภายในช่วง

ใช่ เพราะค่า 2 ไม่ใช่จุดศูนย์กลางของช่วง

ใช่ ที่ระดับ $\alpha=0.01$

ข้อมูลไม่เพียงพอที่จะสรุปได้

คำถามที่ 3

ตรวจสอบมุมที่สามของ $N(\mu, \sigma^2)$ ข้อใดแทน $\mu_3 = E_{\theta}(X^3)$

$\mu^3 + 3\mu\sigma^2$

$\mu^3 + \sigma^3$

$3\mu^2\sigma + \mu^3$

$\mu^3 + 3\sigma^2$

คำถามที่ 4

6.5.1: หาก $x_1, \dots, x_n \sim N(\mu_0, \sigma^2)$ โดยที่ $\mu_0$ รู้ค่า ข้อมูลฟิชเชอร์ $I(\sigma^2)$ คือเท่าไร?

$1 / (2\sigma^4)$

$1 / \sigma^2$

$n / (2\sigma^2)$

$2\sigma^4$

คำถามที่ 5

ในแบบจำลองหลายหมวดหมู่ (แบบจำลองหลายหมวดหมู่) กับ $k$ ประเภท (ตัวอย่าง 6.1.5) พื้นที่พารามิเตอร์มีมิติจริงเท่าใด?

$k - 1$

$k$

$k^2$

$1$

โจทย์ท้าทาย: การประเมินคุณภาพของตัวประมาณค่า

ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยและข้อมูลฟิชเชอร์

คุณกำลังศึกษาตัวประมาณค่า $T$ สำหรับพารามิเตอร์ $\psi(\theta)$ ในการทดลองเบอร์นูลลีขนาดใหญ่ คุณต้องวัดความแม่นยำของการอนุมานของคุณโดยใช้คุณสมบัติของฟังก์ชันคะแนนและตัวชี้วัดความคลาดเคลื่อน

คำถามที่ 1

นิยามค่าความคลาดเคลื่อนกำลังสองเฉลี่ย (MSE) สำหรับตัวประมาณค่า $T$ และอธิบายว่าทำไมค่าที่ต่ำกว่าจึงมีความต้องการสำหรับการอนุมาน

คำตอบ:
$$MSE_{\theta}(T) = E_{\theta}((T - \psi(\theta))^2)$$
ค่าความคลาดเคลื่อนกำลังสองเฉลี่ยแยกออกเป็นความเอนเอียง² + ความแปรปรวน ค่าที่ต่ำกว่าบ่งชี้ว่าตัวประมาณค่าโดยเฉลี่ยแล้วอยู่ใกล้ค่าพารามิเตอร์จริงมากขึ้น ลดลงของค่าลงโทษเชิงกำลังสองสำหรับข้อผิดพลาดในการประมาณ

คำถามที่ 2

ใช้ทฤษฎีบทเสริม 6.5.1 หากการสังเกตแต่ละครั้งให้ข้อมูลฟิชเชอร์ $I(\theta)$ ข้อมูลรวมทั้งหมดในตัวอย่างขนาด $n$ คือเท่าใด และมันสัมพันธ์กับความแปรปรวนของฟังก์ชันคะแนนอย่างไร?

คำตอบ:
ตามทฤษฎีบทเสริม 6.5.1 ข้อมูลฟิชเชอร์รวมสำหรับการสังเกตที่เป็นอิสระและมีการแจกแจงเหมือนกัน $n$ ค่าคือ $nI(\theta)$ นอกจากนี้ ความแปรปรวนของฟังก์ชันคะแนน $S(\theta)$ เท่ากับค่านี้พอดี: $Var_\theta(S(\theta)) = nI(\theta)$ ข้อมูลที่มากขึ้นทำให้เส้นโค้งการประมาณค่าชันขึ้น และให้ตัวประมาณค่าสูงสุดที่แม่นยำยิ่งขึ้น

คำถามที่ 3

ในตัวอย่าง 6.3.14 ทำไมช่วงความเชื่อมั่นจึงไม่ถูกต้องถ้า $\psi$ ไม่ต่อเนื่องเชิงอนุพันธ์ที่จุดหนึ่ง (ตัวอย่างเช่น $\mu = 0$)?

คำตอบ:
ความปกติเชิงอนุกรมและวิธีเดลต้าพึ่งพาการขยายเทย์เลอร์ ถ้าฟังก์ชัน $\psi$ ไม่ต่อเนื่องเชิงอนุพันธ์ ความแปรปรวนของตัวประมาณค่าที่ถูกแปลงจะไม่สามารถประมาณได้อย่างเหมาะสมผ่านเกรเดียนต์ ทำให้ค่าความคลาดเคลื่อนมาตรฐาน (และจึงช่วงความเชื่อมั่นแบบ $z$) ล้มเหลว